LLM에 대한 촘스키의 견해

현대 언어학의 창시자 노암 촘스키는 2023년에 뉴욕타임즈에 LLM을 비판하는 글 The False Promise of ChatGPT 를 기고했다. 이 글을 읽고 내 의견을 적어봤다.

배경

기고문을 살펴보기 전에 촘스키가 LLM에 비판적일 수 밖에 없는 이유를 생각해보면 좋겠다.

촘스키는 생득론자(nativist)다. “백지 상태”의 인간을 적절히 훈련시키면 무엇이든 가르칠 수 있다고 말하던 행동주의 심리학을 논파하며 이름을 알렸다. 그리고 그의 언어학은 전통적인 계산주의/기호주의 이론에 근거한다.

LLM은 백지상태의 신경망에 데이터를 왕창 넣어 훈련시켰더니 제법 인간처럼 말을 하는 시스템이라는 점에서 행동주의적이다. 그리고 신경망은 계산주의/기호주의와 대립하는 연결주의 모델을 따른다. (신경망의 아키텍쳐가 얼마나 단순해야 “백지”로 간주할 수 있는지, 트랜스포머처럼 복잡하게 설계된 신경망은 “백지”인척 하지만 사실은 “돌스프”가 아닌지 등에 대해서도 오랜 논의가 있으나 일단 생략.)

계산주의 진영에서는 오랜 동안 연결주의 모델의 근본적 한계를 지적해왔다. 대중적으로 널리 알려진 책 중에는 스티븐 핑커의 빈 서판이 있다. “빈 서판”은 “백지”와 같은 말이다. 이 책에서 핑커는 “빈 서판” 모델에 근거한 다양한 주장들을 폭넓게 비판하고 신경망을 “연결뭉치(connectoplasm)“라 부르며 비웃는다(이 용어를 처음 사용한 책은 마음은 어떻게 작동하는가). 핑커는 비록 언어의 진화 과정에 대한 구체적인 사안에 대해서는 촘스키와 이견이 있지만, 큰 틀에서는 촘스키 계열의 언어학자다.

요즘(2025년 기준)에는 개리 마커스가 LLM을 열심히 비판하고 있는데, 그의 박사 과정 지도 교수는 다름아닌 스티븐 핑커다. 다만 그는 연결주의를 몽땅 부정하지는 않고, 연결주의와 기호주의가 합쳐져야 한다고 주장한다(neuro-symbolic approach). 나도 이 입장에 동의한다.

이제 촘스키의 기고문을 살펴보자.

언어 학습에 필요한 데이터의 양

(엄청난 학습 데이터를 필요로 하는 LLM과 달리) 인간의 마음은 놀라울 정도로 효율적이고 심지어 우아하기까지 한 시스템으로, 아주 적은 양의 정보만으로 작동합니다.

On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information.

촘스키는 인간 아이가 모국어를 배우는 과정에서 접하는 언어 자극이 모국어의 문법을 유추하기엔 턱없이 부족하다고 말한다(자극의 빈곤 가설). 그럼에도 불구하고 인간 아이는 모국어를 문제 없이 배운다. 이게 가능하려면 아이가 백지 상태로 태어나서는 안되고 타고난 무언가가 있어야 한다(생득론). 촘스키는 이 “타고난 무언가”를 언어습득장치(LAD; Language Acquisition Device)라고 부른다. 이는 행동주의적 언어 이론을 무너트린 촘스키의 핵심 논증 중 하나이다.

자극의 빈곤 가설이 참인지, LAD라고 부를만한 신경학적 실체가 있는지 등에 대해서도 논쟁이 있지만 일단 촘스키의 이론이 참이라고 가정하자.

촘스키 이론을 모두 수용하더라도, 인간이 언어 학습을 하기 위해 필요한 데이터의 양을 “한 인간 아이가 태어나서 해당 문화권의 언어를 익히기 위해 필요한 데이터의 양”으로 규정하는 건 이 맥락에서는 적절치 않다.

LAD는 진화의 산물(진화적 적응이거나 부산물)이므로 진화의 과정 중 사용한 모든 데이터를 합친 것과 비교해야 한다. 그래야 LLM 학습에 필요한 데이터의 양이 인간에 비해 지나치게 많은지 여부를 제대로 평가할 수 있다. LAD가 있는 상태에서 인간 아이가 언어를 학습하기 위해 필요한 데이터의 양은 기반모델이 있는 상태에서 파인 튜닝을 하기 위해 필요한 데이터의 양과 비교하는 게 정당하다.

단순 기술과 진정한 설명

인간의 마음은 데이터 포인트들 사이의 조잡한 상관관계를 추론하는 데 그치지 않고, 설명을 만들어내고자 합니다.

It seeks not to infer brute correlations among data points but to create explanations.

단순한 기술(mere description)과 진정한 설명(genuine explanation)의 구분은 촘스키의 오랜 주장 중 하나다. 촘스키는 당시(1950년대)에 주류 패러다임이었던 구조주의 언어학은 언어 현상을 단순히 기술하는 것에 불과하다고 비판하며, 언어 현상의 기저에 놓인 인지 메커니즘에 대한 진정한 설명을 목표로 해야 한다고 주장했다.

나도 이 둘을 구분하는 게 중요하다는 점에는 깊게 동의한다. 하지만 인간은 진정한 설명을 해낼 수 있지만 LLM은 통계적 상관관계를 조잡하게 추론하는 데 그칠 뿐이라는 주장은 별 근거가 없고, 그저 오래된 계산주의-연결주의 논쟁의 반복에 불과하다.

촘스키의 이 기고문(2023년 3월 8일)과 비슷한 시기에 Sebastien Bubeck(마이크로소프트의 언어 모델 연구자)은 Sparks of artificial general intelligence - Early experiments with GPT-4라는 보고서를 공개한다(2023년 3월 22일). 이 보고서에 의하면 LLM이 “단순히 암기”했을 것이라고 보기 어려운 상황에 대해 설명(explanation)을 제법 잘 해낸다. 적어도 겉으로 보기엔 그렇다. 물론 촘스키는 “겉으로 보기에 그렇다”는 류의 행동주의/기능주의적 평가를 수용하지 않을테지만.

참고로 촘스키가 이 글을 쓸 당시에 대중에게 공개된 버전은 ChatGPT 3.5이고 “Sparks” 논문에서 사용한 버전은 ChatGPT 4의 내부 버전이었다. 그리고 2024년에 추론(reasoning) 모델들이 나오면서 진정한 설명을 해내는 (것으로 보이는) 능력은 더 발전하고 있다. 혹시 촘스키가 ChatGPT 3.5 이후의 버전을 써본 뒤에 글을 썼다면 의견이 달랐을까? 아닐거라고 본다.

설계의 제한

ChatGPT나 그 유사한 프로그램은 설계 방식으로 인해 뭐든지 무제한적으로 “배울” 수 있습니다(배운다는 건 사실 암기에 불과하지요). 가능한 것과 불가능한 것을 구분해낼 수 없습니다.

ChatGPT and similar programs are, by design, unlimited in what they can “learn” (which is to say, memorize); they are incapable of distinguishing the possible from the impossible.

“학습 방식이 이러저러하니 작동 방식도 이러저러할 것이다”라는 추측 역시 오래된 계산주의-연결주의 논쟁의 반복이다.

연결주의 진영에서는 설계가 단순하고 학습 데이터가 단순하더라도 모델에서 창발적인 속성이 나타날 수 있다고 본다(창발주의). LLM에게 길고 서사가 복잡한 추리소설을 제공하고 마지막 문장 “결국 범인은…” 다음 단어를 예측하라고 하면 높은 확률로 범인을 올바르게 지목하는데 이는 “단순 암기” 이외의 작용을 강하게 암시한다. (일리야 서츠케버의 논증)

이것도 암기에 불과하다고 본다면 여기에서 말하는 암기란 학습 데이터 그 자체에 대한 암기가 아니라 학습 데이터에 담긴 “잠재적 패턴”에 대한 암기로 보아야 할텐데, 이게 여전히 “단순 암기”이고 “확률적 앵무새”라고 주장할 수 있을까? 만약 그렇게 주장한다면 인간도 역시 확률적 앵무새에 불과하다고 봐야하지 않을까.

도덕적 입장

진정한 지능은 도덕적 사고를 할 수 있습니다. … 하지만 ChatGPT는 문헌에 담긴 여러 표준적 주장들을 일종의 슈퍼 자동완성 기능으로 요약할 뿐 어떤 것에 대해서도 입장을 취하기를 거부합니다. …

True intelligence is also capable of moral thinking. … It summarizes the standard arguments in the literature by a kind of super-autocomplete, refuses to take a stand on anything….

글의 후반부에서는 도덕에 대한 주제로 ChatGPT와 나눈 대화를 인용하며 ChatGPT는 인간과 달리 도덕적 사고를 하지 못하고 그저 잘 알려진 견해를 나열하기만 한다고 비판한다(이 부분이 전체 기고문 중에서 가장 실망스럽다).

ChatGPT가 특정 입장을 취하는 답변을 하지 않는 이유는 그렇게 하게끔 굳이 추가로 파인튜닝을 했기 때문이다. 특정 입장을 취하는 LLM을 만드는 일이 오히려 더 쉽고 중립적인 입장을 취하도록 하는 게 오히려 더 어려운 일이다.

내 견해

나도 연결주의가 만능이며 신경망만 가지고 모든 게 해결될거라고 보지는 않는다. 다만 연결주의로는 어떤 게 안된다는 식의 단언을 하는 건 매우 위험하다. 예를 들어 해로운 환각(이로운 환각도 존재하기 때문에 굳이 “해로운”을 붙였음)을 “완전히” 없애려면 (인간 수준으로 줄이는 것과 대비하기 위해 “완전히”를 강조), 기호주의 접근과 합쳐야(즉 neuro-symbolic 접근) “효율적”일 것이라고 생각한다(기호주의 없이도 완전히 없애는 게 원칙적으로는 가능할텐데 - Transformer는 메모리 바운드가 있는 UTM이니까 - 현실적으로는 infeasible하다고 생각해서 “효율적”이라고 표현).

촘스키는 대단히 훌륭한 학자이고 당대에 할 수 있는 최고의 지적 기여를 했다고 생각한다. 다만 LLM에 대한 촘스키의 의견이 지금 시대에 큰 가치를 주는지에 대해서는 의문이다. 다만 전통적 기호주의/계산주의 진영에서 LLM을 어떻게 보는지를 이해하기에 좋은 글이라고 생각한다.

이번에도 역시나 아서 C. 클라크를 인용하며 마치는 게 좋겠다.

경험 많은 자가 무엇이 가능하다고 말하면 거의 옳다. 그러나 그가 무엇이 불가능하다고 말하면 아마도 틀릴 것이다.